Entrenamiento de drones para la monitorización de incendios mediante aprendizaje por refuerzo

Año tras año hemos observado un aumento considerable del número de incendios producidos por todo el globo. Estos incendios dejan tras de sí numerosas perdidas tanto materiales como humanas. Debido a la naturaleza estocástica de las llamas, la necesidad de obtener información precisa y en tiempo real es clave para la toma de decisiones en las tareas de extinción de incendios. Pero no es tarea fácil debido a las grandes magnitudes que pueden alcanzar algunos incendios y en ocasiones, la falta de medios personales y materiales. A pesar del uso de vehículos en este tipo de tareas, suponen un número muy reducido con un elevado coste de uso. Para solucionarlo se propone el uso de drones autónomos. Este Trabajo Fin de Grado tiene como objetivo estudiar la viabilidad de un sistema de monitorización de incendios haciendo uso de drones. Se ha optado por el uso de una arquitectura basada en comportamientos en donde en vez de codificar el sistema global se codifican módulos más sencillos que al ser interconectados logran conductas más complejas al sistema. Además, para la codificación de estos comportamientos se han utilizado técnicas de aprendizaje por refuerzo para la obtención de funcionamientos más elaborados. Los algoritmos se han desarrollado y validado mediante un entorno de simulación de incendios forestales realista desarrollado en el propio trabajo. Los resultados muestran cómo las aeronaves pueden realizar un seguimiento de la expansión del incendio obteniendo información con un alto grado de fiabilidad respecto al crecimiento del incendio real. Simulaciones adicionales demuestran que el planteamiento se puede escalar aumentado el número de aeronaves y la generalización del conocimiento al poder ser aplicado en diferentes siluetas de incendio

Modelos de aprendizaje profundo por refuerzo (deep reinforcement learning) para el movimiento autónomo de vehículos aéreos no tripulados

El objetivo de este proyecto consiste en el desarrollo de un sistema basado en algoritmos de Reinforcement Learning, que sea capaz de otorgar autonomía a un vehículo aéreo no tripulado, el cual deberá aprender a realizar un desplazamiento autónomo desde un punto origen, hasta un punto destino, sin llegar a colisionar con los obstáculos que se pueda encontrar a lo largo de su trayectoria. Para ello, se harán uso de las herramientas software necesarias, que permitan la simulación de escenarios tanto para el entrenamiento, como para la evaluación del algoritmo.Laburpena Proiektu honen helburua Reinforcement Learning-eko algoritmoetan oinarritutako sistema garatzea izango da, non gida gabeko aire ibilgailu bati jatorrizko puntu batetik helmuga punto baterainoko ibilbidea burutzeko autonomía emango zaio. Horrenbestez, ibilgailuak zehaztutako ibilbidea egiten ikasi beharko du aurki ditzakeen oztopoak saihestuz. Horretarako, entrenamendu zein ebaluazio inguruneak simulatzeko beharrezkoak diren software tresnak erabiliko dira.Abstract The aim of this Project is the development of a system based on Reinforcement Learning algorithms, which is capable of granting autonomy to an unmanned aerial vehicle, which must learn to make an autonomous displacement from an origin point, to a destination point, without colliding with the obstacles that can be found along its path. For this, the necessary software tools will be used, which allow the simulation of scenarios both for training and for the evaluation of the algorithm

Modelos de aprendizaje profundo por refuerzo (deep reinforcement learning) para el movimiento autónomo de vehículos aéreos no tripulados

El objetivo de este proyecto consiste en el desarrollo de un sistema basado en algoritmos de Reinforcement Learning, que sea capaz de otorgar autonomía a un vehículo aéreo no tripulado, el cual deberá aprender a realizar un desplazamiento autónomo desde un punto origen, hasta un punto destino, sin llegar a colisionar con los obstáculos que se pueda encontrar a lo largo de su trayectoria. Para ello, se harán uso de las herramientas software necesarias, que permitan la simulación de escenarios tanto para el entrenamiento, como para la evaluación del algoritmo.Laburpena Proiektu honen helburua Reinforcement Learning-eko algoritmoetan oinarritutako sistema garatzea izango da, non gida gabeko aire ibilgailu bati jatorrizko puntu batetik helmuga punto baterainoko ibilbidea burutzeko autonomía emango zaio. Horrenbestez, ibilgailuak zehaztutako ibilbidea egiten ikasi beharko du aurki ditzakeen oztopoak saihestuz. Horretarako, entrenamendu zein ebaluazio inguruneak simulatzeko beharrezkoak diren software tresnak erabiliko dira.Abstract The aim of this Project is the development of a system based on Reinforcement Learning algorithms, which is capable of granting autonomy to an unmanned aerial vehicle, which must learn to make an autonomous displacement from an origin point, to a destination point, without colliding with the obstacles that can be found along its path. For this, the necessary software tools will be used, which allow the simulation of scenarios both for training and for the evaluation of the algorithm

Evaluación de algoritmos de aprendizaje por refuerzo profundo con un motor físico

Uno de los grandes retos actuales de la robótica es poder explorar y navegar por entornos totalmente desconocidos y en muchas ocasiones extremos. Para ello es de vital importancia que los robots sean capaces de aprender, adaptarse y recuperarse de los errores de la manera más rápida y eficiente posible.El aprendizaje por refuerzo es una rama del aprendizaje automático que se encarga de que las máquinas aprendan a desenvolverse a base de premios y castigos, en entornos no controlados de los cuales no tenemos información inicial.El principal objetivo de este TFG es estudiar y analizar un conjunto de algoritmos Actor-Critic implementados en Stable Baselines 3 mediante el motor físico de Pybullet.La utilización de algoritmos complejos que emplean aprendizaje del doble valor Q, la actualización de la política con retraso, el suavizado de la política objetivo y la regularización de entropía nos ha permitido obtener un mejor entrenamiento y comportamiento del agente.Se ha evaluado el entorno CartPole de OpenAI Gym durante 100.000 timesteps, el CartPole de Pybullet durante 40.000 timesteps, el HalfCheetah, Hopper y el Ant de Pybullet durante 200.000 timesteps y por último otra vez el Ant para 668.000 timesteps. Para que los resultados fueran robustos y fiables se realizaron cuatros entrenamientos en el CartPole y tres en el Halfcheetah, en el Hopper y en el Ant respectivamente.<br /

Aplicación de algoritmos Deep Policy Iteration en vehículos acuáticos para el patrullaje autónomo de escenarios medioambientales

En este trabajo se ha realizado un estudio de la implantación de la metodología Deep Reinforcement Learning, específicamente algoritmos policy gradient “on policy”, en la resolución de un problema de explotación y toma de muestras en un entorno acuático definido como emplazamiento de experimentación. Se han aplicado algoritmos de esta familia como el REINFORCE y el PPO, donde tras realizar un proceso de sintonización de sus parámetros se ha extraído los modelos obtenidos en cada caso para su posterior simulación. Se han comprobado las planificaciones de ruta desarrolladas por cada algoritmo, así como una comparativa con otras técnicas más usualmente empleadas en navegación automática autónoma. Este estudio trata de continuar una investigación presente de la Escuela Técnica Superior de Ingeniería de Sevilla para la evaluación y monitorización de los parámetros que caracterizan el estado biológico del lago Ypacaraí en la que se plantea el uso de técnicas de aprendizaje por refuerzo “off_policy”. Mediante el uso de un entorno que recrea las características físicas del medio real se aplicarán las técnicas comentadas para garantizar una cobertura, navegación y recogida de datos autónoma optimizadas.In this work we have carried out a study of the implementation of the Deep Reinforcement Learning methodology, specifically "on-policy" policy gradient algorithms, in the resolution of an exploitation and sampling problem in an aquatic environment defined as an experimental site. Algorithms from this family, such as REINFORCE and PPO, have been applied, where, after a process of tuning their parameters, the models obtained in each case have been extracted for subsequent simulation. The route planning developed by each algorithm has been checked, as well as a comparison with other techniques more commonly used in autonomous automatic navigation. This study is a continuation of a current research project of the Escuela Técnica Superior de Ingeniería de Sevilla for the evaluation and monitoring of the parameters that characterize the biological state of Lake Ypacaraí, in which the use of "off-policy" reinforcement learning techniques is proposed. Using an environment that recreates the physical characteristics of the real environment, the techniques will be applied to guarantee optimized coverage, navigation and autonomous data collection.Universidad de Sevilla. Grado en Ingeniería de las Tecnologías Industriale

Arquitectura de software para navegación autónoma y coordinada de enjambres de drones en labores de lucha contra incendios forestales y urbanos

Los progresos alcanzados dentro del área de los Vehículos Aéreos No Tripulados, conocidos comúnmente como drones, han ocasionado un aumento exponencial de su mercado, gracias, principalmente, al desarrollo e implementación de soluciones tecnológicas innovadoras. La capacidad de este tipo de aeronaves de poder embarcar un gran abanico de sensores provoca que, en la actualidad, se oriente el uso de esta tecnología a un amplio conjunto de aplicaciones y servicios, como son las emergencias y, en concreto, aquellas relacionadas con los incendios, tanto forestales como urbanos. La aparición y crecimiento de empresas, como Drone Hopper S.L, cuya labor se destina al diseño y fabricación de drones de alta capacidad de carga y autonomía destinados a la lucha contra el fuego han provocado que dichas plataformas aéreas se posicionen como una potente y eficaz herramienta en el campo de las emergencias y la seguridad. Actualmente, la empresa Drone Hopper se encuentra inmersa en el diseño y desarrollo de la plataforma WILD HOPPER, capaz de trasladar hasta 600 litros de carga útil y realizar maniobras eficaces en labores de extinción de incendios, gracias, en gran parte, a su sistema patentado de liberación de líquidos. Junto a este sistema, los drones fabricados por Drone Hopper, presentan la ventaja de poder realizar trabajos durante la noche, complementando los trabajos de los medios aéreos tradicionales y, en conjunto, superando las limitaciones de otras plataformas aéreas no tripuladas, cuyo uso en trabajos relacionados con los incendios se limitan a la monitorización y vigilancia de áreas de interés. En los últimos años, se ha producido el nacimiento y expansión de los denominados enjambres de drones, o lo que es lo mismo, equipos escalables de varias aeronaves no tripuladas que operan de manera coordinada y que permiten explotar el uso de tecnologías como la desarrollada por la empresa Drone Hopper. Actualmente, la expansión de estos sistemas es fruto del crecimiento en las investigaciones y desarrollos dentro de este campo, ocasionado, principalmente, por las ventajas que presentan los enjambres de drones en términos de robustez, versatilidad y eficacia. La posibilidad de poder desplegar en un mismo área un conjunto de drones que realicen tareas de manera coordinada provoca, en primer lugar, que se disponga de una herramienta robusta contra averías, en la que la pérdida de cualquiera de los drones intervinientes en la misión no implicaría el fracaso de la misma. Y, en segundo lugar, que se establezca una actuación eficaz ligada a la reducción del tiempo de respuesta y, a la posibilidad de acometer diferentes tareas de manera simultánea. Junto a esto, destacar que el enjambre de drones no está únicamente relacionado al uso de aeronaves no tripuladas con similares características, sino que existe la posibilidad de emplear equipos heterogéneos de drones, o lo que es lo mismo, desplegar sobre un mismo escenario drones con diferentes características, tanto a nivel estructural como de carga de pago, lo que origina que se disponga de una herramienta tecnológica de alta versatilidad. Estas tres características convierten a los enjambres de drones en una herramienta tecnológica de alto valor añadido en trabajos relacionados con la lucha contra el fuego, los cuales se caracterizan por el dinamismo, la adversidad, condiciones extremas y rápidamente cambiantes, en las que el uso de sistemas robustos y versátiles presentan una alta aplicabilidad. Aunque junto a estas propiedades existe un aspecto, el cual sigue constituyendo un campo de estudio, investigación y desarrollo, como es la navegación autónoma y cooperativa de dichos enjambres, lo que permitiría poder emplear esta tecnología sin supervisión humana en la zona, reduciendo de esta manera el riesgo y exposición de vidas humanas. Por este motivo, a lo largo del presente trabajo se desarrolla e implementa una arquitectura de software multi-capa capaz de permitir la navegación autónoma y coordinada de un enjambre de drones para poder acometer trabajos esenciales en la lucha contra el fuego, tanto en áreas urbanas como forestales. La arquitectura propuesta incluye un conjunto de métodos redundantes y complementarios que permiten establecer diferentes capas de control para permitir la navegación sin supervisión y cooperativa del enjambre. La primera de las capas consiste en un planificador de trayectorias, basado en información del entorno en 2D y en 3D, que permite dotar a la arquitectura de un método eficiente y escalable que genere como solución un conjunto de trayectorias óptimas y seguras para que cada uno de los drones pueda alcanzar una ubicación determinada en el entorno. Junto a la efectividad y la escalabilidad, el método propuesto se caracteriza por ser altamente configurable, la cual permite la generación de trayectorias en diferentes situaciones, entre las que destaca la posibilidad de establecer una solución que permita al enjambre de drones alcanzar un objetivo en cuestión bajo una formación concreta, de cara a realizar labores de extinción de manera más eficaz. La segunda de las capas consta de un gestor de colisiones, formado por diferentes desarrollos y algoritmos, que dotan al enjambre de un sistema de detección y evasión de obstáculos, tanto entre drones del enjambre como con obstáculos presentes en el entorno, que garanticen la navegación segura y libre de colisiones de cada uno de los agentes del enjambre. Por último, la arquitectura de software desarrollada en la presente tesis doctoral busca dotar a cada agente del enjambre de un modelo de toma de decisiones inteligente, el cual permita a cada aeronave, de manera autónoma, escoger una secuencia de acciones que le permita alcanzar un objetivo concreto. Este modelo inteligente de toma de decisiones complementa a todos los métodos de la arquitectura propuesta y, permite, de manera redundante establecer un desarrollo adicional que garantice la navegación autónoma del enjambre en entornos dinámicos. La combinación de estos desarrollos bajo una misma arquitectura provoca el despliegue de una flota de drones capaz de navegar y realizar trabajos de manera autónoma y cooperativa sobre entornos adversos y dinámicos, como es el caso de los incendios. Por tanto, los trabajos y desarrollos de la presente tesis doctoral se centran en crear una herramienta tecnológica de alto valor añadido, a partir del desarrollo de arquitecturas de software embarcadas en un enjambre escalable de drones que, trabajando de manera coordinada, establezca una respuesta rápida, eficiente y robusta al problema de los incendios, tanto forestales como urbanos.The progress achieved in the area of Unmanned Aerial Vehicles, commonly known as drones, has caused an exponential increase in its market, mainly thanks to the development and implementation of innovative technological solutions. The capacity of this type of aircraft to be able to embark on a wide range of sensors means that, at present, the use of this technology is directed at a wide range of applications and services, such as emergencies and, specifically, those related to fires, both forest and urban. The appearance and growth of companies such as Drone Hopper S.L., whose work is aimed at the design and manufacture of high load capacity and autonomy drones for firefighting, has led to these aerial platforms being positioned as a powerful and effective tool in the field of emergencies and security. Currently, Dron Hopper is immersed in the design and development of the WILD HOPPER platform, capable of carrying up to 600 liters of payload and perform effective maneuvers in fire fighting, thanks largely to its patented system of liquid release. Together with the system, the drones manufactured by Drone Hopper have the advantage of being able to carry out work at night, complementing the work of traditional aerial means and, as a whole, overcoming the limitations of other unmanned aerial platforms, whose use in fire-related work is limited to the monitoring and surveillance of areas of interest. In recent years, there has been the birth and expansion of the so-called drone swarms, or what is the same, scalable equipment from various unmanned aircraft that operate in a coordinated manner and that allow the use of technologies such as the one developed by the Drone Hopper company. Currently, the expansion of these systems is the result of the growth in research and development within this field, caused mainly by the advantages that drone swarms present in terms of robustness, versatility, and efficiency. The possibility of being able to deploy in the same area a set of drones that carry out tasks in a coordinated way causes, in the first place, that a robust tool against breakdowns is available, in which the loss of any of the drones involved in the mission would not imply the failure of the same one. And, secondly, that an effective action is established, linked to the reduction of the response time and to the possibility of undertaking different tasks simultaneously. In addition to this, it is important to point out that the swarm of drones is not only related to the use of unmanned aircraft with similar characteristics, but that there is also the possibility of using heterogeneous drone teams, or what is the same, deploying drones with different characteristics on the same stage, both at a structural and payload level, which results in a highly versatile technological tool. These three characteristics make drone swarms a high value-added technological tool in firefighting related work, which is characterized by dynamism, adversity, extreme and rapidly changing conditions, in which the use of robust and versatile systems have high applicability. Although together with these properties there is an aspect, which continues to be a field of study, research, and development, as is the autonomous and cooperative navigation of these swarms, which would allow the use of this technology without human supervision in the area, thus reducing the risk and exposure of human lives. For this reason, throughout the present work, multi-layer software architecture is developed and implemented that is capable of allowing the autonomous and coordinated navigation of a swarm of drones to be able to undertake essential fire-fighting work, both in urban and forest areas. The proposed architecture includes a set of redundant and complementary methods that allow establishing different control layers to enable unsupervised and cooperative navigation of the swarm. The first layer consists of a path planner, based on 2D and 3D environmental information, which provides the architecture with an efficient and scalable method that generates a set of optimal and safe paths as a solution so that each of the drones can reach a particular location in the environment. Along with the effectiveness and scalability, the proposed method is characterized by being highly configurable, which allows the generation of trajectories in different situations, among which highlights the possibility of establishing a solution that allows the swarm of drones to reach a target in question under a specific training, to perform extinction work more effectively. The second of the layers consists of a collision manager, formed by different developments and algorithms, which provide the swarm with a system for detecting and avoiding obstacles, both between drones of the swarm and with obstacles present in the environment, to ensure safe and collision-free navigation of each of the agents of the swarm. Finally, the software architecture developed in this doctoral thesis seeks to provide each swarm agent with an intelligent decision-making model, which allows each aircraft, autonomously, to choose a sequence of actions that will allow it to reach a speciffic objective. This intelligent decision-making model complements all the methods of the proposed architecture and, redundantly, allows the establishment of additional development that guarantees the autonomous navigation of the swarm in dynamic environments. The combination of these developments under the same architecture results in the deployment of a fleet of drones capable of navigating and working autonomously and cooperatively in adverse and dynamic environments, such as fires. Therefore, the work and developments of this doctoral thesis are focused on creating a technological tool with high added value, from the development of software architectures embedded in a scalable swarm of drones that, working in a coordinated manner, establish a rapid, efficient and robust response to the problem of fires, both forest and urban.Programa de Doctorado en Ingeniería Eléctrica, Electrónica y Automática por la Universidad Carlos III de MadridPresidente: Pascual Campoy Cervera.- Secretario: Javier Fernández Andrés.- Vocal: Walterio W. Mayol-Cueva

Contextos universitarios transformadores: retos e ideas innovadoras. II Xornadas de Innovación Docente

Colección: Contextos Universitarios Transformadores (CUT). Número 1[Resumo] A innovación aplicada á práctica docente debe levar aparellada unha mellora da calidade dos procesos de ensino-aprendizaxe. Así mesmo, debe contribuír a xerar un cambio real, continuado no tempo e susceptible de ser aplicado a distintos ámbitos. A innovación é, en definitiva, unha ferramenta máis para a mellora da docencia. Esta publicación recolle un total de 25 comunicacións e 14 pósters, elixidos entre os que foron expostos na referida Xornada. O abano é amplo, abórdanse maneiras de intervir na aula moi diferentes, dende a utilización das redes sociais para a mellora da competencia lingüística, a creación de curtametraxes para a aprendizaxe e a avaliación dos estudantes ou o recurso á simulación para mellorar a formación sanitaria. Algunhas destas metodoloxías innovadoras non poderán ser de aplicación en todas as materias, pero da súa presentación e comunicación ou lectura, todos poderemos aproveitar a lección de que é preciso moverse, que as cousas que se fan para un grupo de estudantes non van servir para os que teremos o vindeiro curso, e que a colaboración entre os docentes é unha aposta necesaria e imprescindible para a mellora da formación universitaria e, polo tanto, reverterá indefectiblemente no crecemento da sociedade que estamos a crear

Manipulador aéreo con brazos antropomórficos de articulaciones flexibles

[Resumen] Este artículo presenta el primer robot manipulador aéreo con dos brazos antropomórficos diseñado para aplicarse en tareas de inspección y mantenimiento en entornos industriales de difícil acceso para operarios humanos. El robot consiste en una plataforma aérea multirrotor equipada con dos brazos antropomórficos ultraligeros, así como el sistema de control integrado de la plataforma y los brazos. Una de las principales características del manipulador es la flexibilidad mecánica proporcionada en todas las articulaciones, lo que aumenta la seguridad en las interacciones físicas con el entorno y la protección del propio robot. Para ello se ha introducido un compacto y simple mecanismo de transmisión por muelle entre el eje del servo y el enlace de salida. La estructura en aluminio de los brazos ha sido cuidadosamente diseñada de forma que los actuadores estén aislados frente a cargas radiales y axiales que los puedan dañar. El manipulador desarrollado ha sido validado a través de experimentos en base fija y en pruebas de vuelo en exteriores.Ministerio de Economía y Competitividad; DPI2014-5983-C2-1-

XXIII Edición del Workshop de Investigadores en Ciencias de la Computación : Pósters

Se recopilan los pósters presentados en el XXIII Workshop de Investigadores en Ciencias de la Computación (WICC), organizado por la Universidad Nacional de Chilecito y celebrado virtualmente el 15 y 16 de abril de 2021.Red de Universidades con Carreras en Informátic